GPUSparse: GPU-Accelerated Learned Sparse Retrieval with Parallel Inverted Indices
GPUSparse：GPU并行倒排索引加速学习稀疏检索
🧭 GPU加速稀疏检索系统
MIT-IBM Watson AI Lab
通过GPU并行倒排索引与批量scatter-add融合核实现SPLADE精确评分，在MS MARCO上较CPU加速235倍
📌 工作参考价值（4 点）
- 若业务使用稀疏模型（如电商搜索中的商品文本召回），可将倒排索引与评分逻辑移植到GPU，通过块对齐posting list及warp-coalesced访问优化内存带宽，大幅降低延迟。
- 批量scatter-add核融合思想可直接借鉴：将query-term匹配的score累加到doc-tensor，省去中间遍历开销，适用于类似向量化召回评分的场景。
- 系统设计上，采用query-batch并行处理提升GPU利用率，在实时服务中结合动态batch组装，可平衡延迟与吞吐。
- Triton编写的融合kernel权衡了工作效率与带宽效率，对自研CUDA kernel的团队有参考价值，避免逐term展开导致利用率低下的问题。